Charles sinh ra ở Paris, là con trai của Louis I, Công tước xứ Orléans và Valentina Visconti, ông ngoại ông là Gian Galeazzo Visconti, Công tước xứ Milano.[2] Ông phải cai quản công quốc của cha mình từ năm 13 tuổi sau khi cha ông bị ám sát theo lệnh của Jean Dũng cảm, Công tước xứ Bourgogne.[3] Charles được cho là sẽ tiếp nối sự lãnh đạo của cha mình chống lại phe Bourgogne, một phe phái của người Pháp cũng ủng hộ Công tước xứ Bourgogne. Công tước xứ Bourgogne chưa bao giờ bị trừng phạt vì vai trò của ông trong vụ ám sát Louis, nhưng Charles đã phải chứng kiến ​​người mẹ đau buồn của ông, Valentina Visconti, khi bà phải chống chọi với bệnh tật không lâu sau đó. Lúc bà lâm chung, Charles và những cậu con trai khác trong gia đình đã tuyên thệ truyền thống sẽ trả thù cho tội giết cha của họ.

Trong những năm đầu trị vì dưới danh nghĩa công tước, Charles đã mồ côi và sớm phải chịu ảnh hưởng nặng nề từ sự dẫn dắt chỉ đạo của cha vợ, Bernard VII, Bá tước Armagnac, vì lý do đó phe của Charles còn được gọi là phe Armagnac.